??? ????? data science ? ??? ????????????? ???????? ??????

Data science ???????????? ????? ????????????????? ??????????? ??????, ??????? ??????????? ??????????, ??????????, ???????????????? ? ?????????? ????????????. ??????????? ???????? ?????? ??????? ?? ??????? ???????? ??????????, ????????? ??????? ??????? ? ?????????. ????? ?????????? ?????????? ??????? ??? ????????? ???????????? ??????? ? ????????????????? ?????????.

???????? ?????? ??????????????? ? ?????????? ??????????? ??????????: ?????? ??????, ?????? ????????, ???????????? ???????. ??????????? ???????????? ?????????????? ??????, ????????? ?? ?? ??????, ????? ?????????? ?????????????? ?????? ??? ????????? ?????????. ??????? ???????? ???????????? ???????, ???????????? ????????? ? ?????????? ??????.

???????? pin up ????????????? ?? ????????? ???????? ??????? ???????????????? Python ??? R, ?????? SQL ??? ?????? ? ??????????? ??????. ??????????? ??????? ???????????? ??????, ????????? ???????, ???????????? ?????????? ? ????????? ?????????????. ?????? ???????????? ???????? ????????? ???????? ??????? ? ???????????????? ???????? ???????.

??? ?? ????? ? ?????????????? ????? ??? ????????. ????? ????????? ????????? ??? ??????????? ??????, ????????? ????????? ???????????, ??????????? ?????????? ????????? ???????????? ????? ???????.

?????? data science ? ??? ????

??????? ????? ? ?????? ???????? ??? ????????????: ?????????????? ??????????, ?????????????? ????? ? ????????? ?????????? ?????. ?????????? ???????? ???????? ??????? ? ??????? ????????. ???????????????? ????????????? ????????????? ??????? ??????? ?????????. ?????? ? ?????????? ??????? ??????????? ????? ?????????? ??????????.

??????? ??????? ????????? ??????????? ? ?????????????? ????? ?????????? ? ?????????? ??????. ??????????? ?????? ??????? ??? ????????? ????????????? ?????????, ?????? ?????????? ??????, ?????????????? ??????? ?? ?????????. ???????? ????????? ?????????????? ?????? ??? ????????? ????????? ?? ???????? ??????????.

???????????? ??????? ??? ?? ???????? ??????? ?????? ????????. ???????????????? ????????? ???????? ???????? ?? ?????????? ???????????? ?????????????. ??????? ??????????? ????? ??????????? ???????? ??? ??????????? ?????????????? ??????????. ????????? ??????? ????????????? ????? ???????? ???????? ?? ????????? ??????.

????????????? ????????? ?????? ????????????????? ???????. ???????????? ????? ??????????? ??? ?? ?????? ??? ?????????? ??????????? ????? ???????????????. ???????????? ??????????? ???????????? ????? ? ?????. ??????????? ???????? ??????????? ??????? ??????????? ???????????? ? ????????? ??????? ?????.

???????? ???????? ?????? ? ???????

??????? ?????? ????????? ?????? ???????????? ????? ????? ???????????????? ??????????????? ? ??????-???????????????. ???????????? ?????????????? ?????????? ?????????? ?? ???? ??????? ??? ?????????????. ??????? ??????????? ?????????? ? ????????? ??????????, ????????????? ??????????? ????????? ? ??????? ??????????.

?? ???? ???????????? ??????? ?????????? ???????????? ? ??????? ?????? ??? ??????? ???????????? ????. ???????????? ????????????? ??????????? ???????, ?????????? ??????????????? ?????????????? ???????. ??????? ?????????? ? ?????????? ???????? ????????????? ?????? ? ?????????? ??? ????????? ???????.

? ???????? ????????? ??????? ?????????? ?????? ??????, ?????????? ????????????? ?????? ? ?????????????? ?? ??????????????? ????????. ???????????? ???????????? ???????? ????????? ??????, ????????? ???????????? ?????????? ???????. ???????????? ? ????? pin up ?????????? ???????? ? ????????? ?????????????? ?????????? ?? ????????????? ???????.

????????? ?????? ???????????? ????????? ??????????? ??? ???????????????? ??????????. ??????? ??????? ??????? ? ?????????, ??????????? ??????????????? ?????? ??? ??????? ???????. ??????? ????????? ?????????? ??????????? ?? ????????? ???????. ??????? ????????? ? ??????????? ????????????? ?????????? ????????????.

?????? ? ????????? ??????

??????????? ???????? ???????? ???????? ?? ???????????? ??????????. ?????????? ??????? ?????????? ?????????????? ?????? ? ???????????, ?????????????? ???????, ???????? ?????????. ???-????????? ??????????? ?????????? ?????? ????????: ????????? ???????, ?????, ????????????????? ?????????. ????????? ?????????? ????????? ???????? ????????????? ? ??????????????.

??????? ????????? ????????????? ?????????????? ????????? ??? ???????. ?????????? ???? ???????? ???????? ???????? ? ???????. ???????? ????????????????? ????????? ????????? ?????????? ?? ????????? ? ??????????. ???????????? ????????? ??????? ??????????? ? ???????? ????? ?????????.

?? ????????? ????????? ?????????????????, ????????????????????? ? ??????????????????? ??????????. ?????????????? ???????? ??????????? ? ??????????? ?????????? ? ???????????? ?????? ??????. ????????????????????? ????????? ?????????? JSON ? XML ?????. ???????????????? ???????? ?????????? ???????????, ?????????????, ?????, ?????????????.

??????????? ???????? ? ??????????????? ? ??????????????? ?????? ??????. ???????? ???????? ?????????? ??????????: ??????? ????????????, ?????? ???????, ????????????? ??????????. ?????????????? ???????? ?????????? ?????????: ??? ???????, ?????????? ??????????. ????????? ?????????????????? ?????????? ????????? ?????? ? ??????? ??? ?? ?? ??????? ????????????? ???????.

??????? ??????? ? ?????????? ??????????

????????? ????????? ?????????? ??????????? ? ??????????? ? ?????????? ????? ?????. ??????????? ??????????? ????????? ????????????? ??? ????????? ????????????? ????????? ? ????????. ????????????? ??????????? ?????????? ????????? ? ????????????? ???????? ??????????? ?????? ? ?????? ???????? ???????.

?????? ??????????? ?????? ????????? ?????????? ???????? ???????? ?? ?????????????. ???????? ????????? ?????? ????????? ??? ?????????? ?????????: ??????????? ????????, ??????? ??? ???????? ????????????????? ?????????. ??????????? ????????? ????????????? ?????? ??? ??????????????? ????????????? ???????? ?? ???? ???? ?????????????. ? ???????????? ????????? ?????? ? ?????????? ??????????? ?????????.

??????????? ?????????? ? ???????? ???????????? ???????????? ?? ????????? ???????????. ????????????? ????????? ?????????????? ??????: ?????????????? ??????, Z-??????, ???????? ???????????? ????. ???????? ? ??????? ??? ?? ?????? ????????, ????????? ?? ??????? ????????????? ?????? ??? ??????????????? ?????????????? ??????????, ???????????? ????????????? ????????.

???????????? ? ?????????? ???????? ?????????? ? ?????? ???????. ??????????? ??????????? ????????? ???? ? ??????? ????????, ??????????? ???? ??? ? ???????. ???????? ???????? ?????????????? ? ??????????? ????????? ??? ?????????? ???????????? ?????????? ????????? ????????. ???????????? ?????????? ?????????? ????????? ??????????? ????? one-hot encoding ??? label encoding.

???????????? ?????? ? ???????? ??????????

??????????? ?????? ?????? ?????????? ????? ????????? ???? ???????????? ??????. ???????? ?????????? ???????????? ??????????: ???????, ???????, ??????????? ???????. ????????????? ??????? ??????????? ????????????? ?????????????, ????????? ????????? ??? ??????????? ????????????. ???????? ??????? ?????????????? ??????? ??? ?????????? ????????????.

?????????? ???????????? ??????? ?????????? ? ?????? ??????????? ??????. ??? ??????? ????????? ??????????? ???????? ??????, ??????? ???????, ??????????? ???????. ?????? ????????????? ??????????? ? ??????? ????????????? ?????????, ?????????? ????, ????????? ?????. ??????????? ???????????? ?????????? ?? ????????????? ? ???????? ??????.

???????? ?????? ???????? ?????? ????????? ????????????? ?????????. ???????? ????????? ?????-????????? ??? ???????? ???????????? ??????. ????????????? ???????????? ?????????????? ????? grid search. ???????? ????????? ??????? pin up ??? ?????????????? ????????????: ?????????????, dropout, early stopping.

??????????? ????????????? ?????? ??????????? ? ?????????????? ??????, ?????????? ????????? ????. ??? ????????? ??????????? ??????? ?????????? ?????? ? ??????????? ????????????. ????????????????? ?????? ??????????? ????? ????????, ???????, F1-????. ????????? ??????????? ?????????? ????????? ??? ????????? ????????, ???????? ?? ????????????.

??????? ? ??????? data science

Python ???????? ???????? ?????????????? ?????? ???????????????? ??? ???????????? ????????. ?????????? Pandas ???????????? ??????? ?????????????? ? ?????????? ??????????? ? ?????????? ????????????????????. NumPy ???? ???????? ??? ?????????????? ?????????? ? ???????????? ?????????. Scikit-learn ???????? ??????? ?????????? ?????????? ??????????????? ???????? ??? ?????????????, ?????????, ?????????????.

???? R ?????? ??????????? ? ?????????????? ???????????? ? ??????? ??????????. ????????????? ??????????? ?????? dplyr ??? ?????????????? ? ???????, ggplot2 ??? ?????????? ????????. ????????????? ???????????? R ??? ??????? ?????????????? ???????? ? ?????????????????? ???????.

SQL ?????? ?????????? ??? ???????????? ? ???????????? ?????? ????????. ??????????? ???????? ?????? ?? ????????????, ???????????? ????????? ? ??????? ??????. ???????? ?????????? ??????? ??? ?????????? ????????? ? ????????????? ????????. ?????????? ??????? ???????????? ??????? ???????? ? ??????? ??? ?? ??? ?????????? ??????? ?????.

??????? ??? ???????????? ? ???????? ?????????? ???????? Apache Spark, Hadoop, Apache Flink. ??????? ?????????????? ???????? ??????????? ????????? ?????? ?? ??????? ?????. ???????? ?????? AWS, Google Cloud, Azure ???????????? ??????? ???????????. Jupyter Notebook ??????? ????????????? ???????????? ??? ?????? ? ????? ? ???????? ?????.

????????????? ??????????? ? ?????????

???????????? ?????????? ?????????? ??????? ???????? ?????? ? ???????? ?????????? ?????. ??????????? ?????????? ??? ????????? ? ??????????? ?? ??????? ?????????? ? ????? ???????????. ?????????? ????????? ???????????? ??????, ???????? ??????? ???????????? ???????? ????????. ???????? ??????? ?????????? ??????????? ??????, ???????? ????? ???????????? ????????? ?????????????.

????????????? ?????? ??????????? ??????? ?????? ? ???????? ???????? ???????????. ????????????? ????????????? ?????? ? ????????? ??? ?????????? ???????????? ??????. ???????? ??????????? ???????? Tableau, Power BI, Plotly ??? ???????????? ????????????? ??????????. ???????????? ??????????? ?????????? ???????? ? ??????????? ????????????? ? ?????? ????????? ???????.

???????????? ????????????? ?????????? ????????? ??????????????? ????????? ??????????? ???????. ????? ???????? ?????????????? ??????-??????, ???????? ???????, ?????? ? ???????. ??????????? ???????????? ??????? ??????????? ??? ??????? ??????????. ??????????? ?????? ???????? ????????? ???????? ?????????? ? ??????????? ???????? ? ??????? ??? ?? ?????? ??? ??????? ????????.

????????????? ??????? ???????????????? ???????? ????????? ????????????? ??????. ??????????? ????????? ?????????? ????????? ? ??????? ?? ???????????? ???????? ??????. ??????????? ?????????? ?????????? ???????? ??? ????????? ??????? ? ??????-????????.