BigData_and_DataScience

Base

it's course of Stepik with sertification

Suniy Intellekt

1- revolyutsiya -> agrar revolyutsiya -> 12000 yil 2- revolyutsiya -> fan revolyutsiyasi -> 500 yil 3- revolyutisya -> su'niy intellekt -> 10 yil

3-Revolyutsiya bu AI ( artificial Intelliegence )

arzon kompyuterlar
Massive data
open source code

CV - Computer Vision

Razpoznavaniya rechi

NLP

Big Data

3Vs*

Volume - katta hajmdagi ma'lumotlar to'plami paydo bo'lishi. - Pb, Zb
Velocity - Ma'lumotlar tezligi oshishi - 5G, 6G - patch, real time
Variety - Ma'lumotlarni xilma-xilligi va turlari ko'payishi - mobile, smm, trafik, IoT, smart-home,...
Volume ( obyom ) - Gb, Tb, Pb
velocity ( skorost ) - patch, real time
variety ( raznobraziya ) more data with mobile , smm, trafik
Variability

Work with Big Data

Ma'limotlarni yig'ish -> Yandex metrics, Google metrics, IoT, smart watch, statistika, report
Ma'lumotlarni boshqa ko'rinishga olib kelish -> Integratsiyalash, Analyst va Report tayyorlash
Ma'lumotlarni Saqlash -> Excel, --> Amazon, SQL, MySql, --> Data Warehouse (Oracle, AmazonRedShift, MarkLogic) --> Data Lakes (Azure, Hadoop, Google Cloud, S3 )
Ma'lumotlarni tahlil qilish -> Mathematical method -> regression, correlation, disperce

Machine Learning -> Tree, KNN, SVM, Random Forest, Adboost, Neuron

Xulosalar qurish va tavsiyalar berish

ML alogritmlari

Sbor Dannix ---> Yandex metriki, google metriki, IoT, smart watch,
Pereobrabotka dannix -> intergratsiya and ....
Xraneniya Dannix ---> Excel, --> Amazon, SQL, MySql, --> Data Warehouse (oracle, AmazonRedShift, MarkLogic) ---> Data Lakes (Azure, Hadoop, Goodle Cloud, S3 )
Analiz dannix . Mathematical method --> regression, correlyatsion, disperce,

Machine Learning -> -> Tree, KNN, SVM, Random forest , Adboost, Neuron

Postreeniya vivodov i recomendatsiyyii

Algorithms of ML

Прикрепленные файлы:

https://stepik.org/media/attachments/lesson/580046/diamonds_moded.xls

https://stepik.org/media/attachments/lesson/580046/movies.xls

Во время урока мы работали в программе Visual Studio Code. Это среда разработки от компании Microsoft, она доступна для скачивания в открытом доступе. Те же действия можно совершать прямо в браузере, ничего не скачивая - в Google Colaboratory. Для простоты обучения мы рекомендуем начать именно с Google Colaboratory, так как его интерфейс понятнее и комфортнее для освоения базовых навыков.

Инструкция:

Открываем ссылку (https://colab.research.google.com/drive/14hyVLLtdth5_tyeIHhLx8n3VV8IGowXW#scrollTo=Q3OpRgkWjz8R).
Скачиваем два прикрепленных файла.
В Google Colaboratory слева нажимаем на папку "Файлы".
Перемещаем туда оба скачанных файла.

Готово! Можно запускать, вносить изменения и играться с данными :)