واحد مشترک کمکی پژوهش و مهندسی «هوش یار-تواندار» (HT-CSURE)

در ماه های گذشته دهها سرمایه‌گذار استخراج بیت کوین از سراسر جهان – روسیه، اروپا و آسیا- در حال بررسی انتقال مزارع بیت کوین خود به ایران و دیگر کشورهای ارزان همچون گرجستان هستند. روزنامه "نیویورک تایم, ...ادامه مطلب

به عنوان یک متخصص سامانه‌های تحلیل‌گر یا برنامه‌نویسی که با ابزارهای تحلیلی سروکار دارید، ایده‌آل‌ترین حالت برای شما وقتی است که همه اطلاعات به شکل دقیق و در قالب یک فرمت باز و مستندسازی شده در اختیار شما قرار داشته باشد. در این حالت به سادگی می‌توانید در هر حوزه‌ای داده‌های موردنیاز خود را به دست آورده و متناسب با هدف کاری خود از آن‌ها استفاده کنید.اما به ندرت زمانی پیش می‌آید که بتوانید داده‌ها را به شکل طبقه‌بندی شده و به دور از هرگونه ناخالصی دریافت کنید. در اغلب موارد نه تنها با داده‌های تاریخ مصرف گذشته روبرو هستید، بلکه اطلاعاتی که به آن‌ها نیاز دارید درون یک سایت قرار دارند. در حالی که اکثر سایت‌ها تلاش می‌کنند، داده‌هایی شفاف و با فرمتی ساخت‌یافته را ارائه کنند، اما سایت‌های دیگر این‌گونه عمل نمی‌کنند. در چنین شرایطی برای جمع‌آوری اطلاعات از وب باید خود فرآیند استخراج را انجام دهید.خزیدن در وب چیست؟یک تحلیل‌گر داده‌ها یا برنامه‌نویس داده‌ها با واژگانی همچون Crawling، Scraping، Processing و cleaning data آشنا است. این واژگان که به خزیدن، خراش دادن، پردازش کردن و شفاف‌سازی داده‌ها اشاره دارند، ارکان اصلی ساخت‌یافتگی داده‌ها را شکل می‌دهند. سایت‌هایی که اطلاعات خود را در یک &, ...ادامه مطلب