/TGParser2.0

πŸ” TGParser - ΠŸΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ°, которая ΠΏΡ€Π΅Π΄Π½Π°Π·Π½Π°Ρ‡Π΅Π½Π° для сбора ΠΊΠ°Π½Π°Π»ΠΎΠ² с ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌΠΈ коммСнтариями Π±Π΅Π· Π°Π½Ρ‚ΠΈ-спам Π±ΠΎΡ‚ΠΎΠ² с Π·Π°Π΄Π°Π½Π½Ρ‹ΠΌΠΈ Π²Π°ΠΌΠΈ Ρ„ΠΈΠ»ΡŒΡ‚Ρ€Π°ΠΌΠΈ.

Π˜Π½ΡΡ‚Ρ€ΡƒΠΊΡ†ΠΈΡ TGParser

ВозмоТности парсСра

  • Π‘Π±ΠΎΡ€ всСх ΠΊΠ°Π½Π°Π»ΠΎΠ² ΠΈΠ· 47 Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊ Π½Π° сайтС TGSTAT.
  • Π€ΠΈΠ»ΡŒΡ‚Ρ€Π°Ρ†ΠΈΡ ΠΊΠ°Π½Π°Π»ΠΎΠ² ΠΏΠΎ ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ коммСнатариям ΠΈ ΠΌΠΈΠ½ΠΈΠΌΠ°Π»ΡŒΠ½ΠΎΠΌΡƒ ΠΎΡ…Π²Π°Ρ‚Ρƒ.
  • ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° Π² ΠΎΡ‚Ρ„ΠΈΠ»ΡŒΡ‚Ρ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… ΠΊΠ°Π½Π°Π»Π°Ρ… наличия Π°Π½Ρ‚ΠΈ-спам Π±ΠΎΡ‚Π°.
  • Π’ΠΎΠ·ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠ΅ Ρ€Π°Π±ΠΎΡ‚Ρ‹ Π² случаС Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²ΠΊΠΈ Π°ΠΊΠΊΠ°ΡƒΠ½Ρ‚Π° Π’Π“ Π½Π° этапС ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ Π°Π½Ρ‚ΠΈ-спам Π±ΠΎΡ‚Π°.

Π˜Π½ΡΡ‚Ρ€ΡƒΠΊΡ†ΠΈΡ ΠΏΠΎ установкС

ΠŸΠ΅Ρ€Π΅Π΄ использованиСм Π±ΠΎΡ‚Π° Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΊΠ°Ρ‡Π°Ρ‚ΡŒ Python. Π’ΠΎ врСмя установки Π½Π΅ Π·Π°Π±ΡƒΠ΄ΡŒΡ‚Π΅ ΡƒΡΡ‚Π°Π½ΠΎΠ²ΠΈΡ‚ΡŒ Π³Π°Π»ΠΎΡ‡ΠΊΡƒ Π½Π°ΠΏΡ€ΠΎΡ‚ΠΈΠ² "Add python.exe to PATH".

Установка Python

ПослС Ρ‚ΠΎΠ³ΠΎ ΠΊΠ°ΠΊ ΠΌΡ‹ установили Python, Π·Π°Ρ…ΠΎΠ΄ΠΈΠΌ Π² ΠΏΠ°ΠΏΠΊΡƒ с парсСром ΠΈ Π΄Π°Π»Π΅Π΅ Π² ΠΏΠ°ΠΏΠΊΡƒ "start". Π’ этой ΠΏΠ°ΠΏΠΊΠ΅ ΠΌΡ‹ запускаСм Ρ„Π°ΠΉΠ» "ΠšΠ»ΡŽΡ‡ TGParser.exe" ΠΈ ΠΎΠΆΠΈΠ΄Π°Π΅ΠΌ ΠΏΠΎΠ»Π½ΠΎΠΉ установки Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Ρ… Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊ ΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΡƒΠ½ΠΈΠΊΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ ΠΊΠ»ΡŽΡ‡Π°.

Как Ρ‚ΠΎΠ»ΡŒΠΊΠΎ появится надпись "Press any key to continue", это Π·Π½Π°Ρ‡ΠΈΡ‚, Ρ‡Ρ‚ΠΎ установка Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½Π°. Π—Π°ΠΊΡ€Ρ‹Π²Π°Π΅ΠΌ ΠΎΠΊΠ½ΠΎ с консолью ΠΈ Π·Π°Ρ…ΠΎΠ΄ΠΈΠΌ Π² Ρ„Π°ΠΉΠ» "key.txt", ΠΊΠΎΠΏΠΈΡ€ΡƒΠ΅ΠΌ ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Π½Ρ‹ΠΉ ΠΊΠ»ΡŽΡ‡ ΠΈ отправляСм ΠΌΠ½Π΅ Π² Π›Π‘.

Π˜Π½ΡΡ‚Ρ€ΡƒΠΊΡ†ΠΈΡ ΠΏΠΎ парсСру

ΠŸΠ΅Ρ€Π΅Π΄ Π½Π°Ρ‡Π°Π»ΠΎΠΌ использования парсСра, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ Π² ΠΏΠ°ΠΏΠΊΡƒ session Π·Π°ΠΊΠΈΠ½ΡƒΡ‚ΡŒ Ρ„Π°ΠΉΠ» сСссии (Π°ΠΊΠΊΠ°ΡƒΠ½Ρ‚). БСссия ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ Π΄ΠΎΠ»ΠΆΠ½Π° Π±Ρ‹Ρ‚ΡŒ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π° telethon ΠΈ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ сСссии ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ любоС.

Π•Ρ‰Π΅ Π²Π°ΠΌ Π½ΡƒΠΆΠ½ΠΎ Π±ΡƒΠ΄Π΅Ρ‚ Π½Π°ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ ΠΊΠΎΠ½Ρ„ΠΈΠ³ Π² ΠΏΠ°ΠΏΠΊΠ΅ ΠΏΠΎΠ΄ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ΠΌ 'config.ini'. Π’ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π΅ TEXT Ρƒ нас находится ссылка Π½Π° ΠΊΠ°Π½Π°Π» Π’Π“, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ Π±ΠΎΡ‚ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΡ‚ΠΏΡ€Π°Π²Π»ΡΡ‚ΡŒ Π² ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Ρ‹ для ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ наличия Π°Π½Ρ‚ΠΈ-спам Π±ΠΎΡ‚Π°.

Π’ Ρ€Π°Π·Π΄Π΅Π»Π΅ PROXY, Ρ‚ΡƒΡ‚ ΠΌΡ‹ ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅ΠΌ прокси, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ…ΠΎΡ‚ΠΈΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ. ΠŸΡ€ΠΎΠΊΡΠΈ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π±Ρ‹Ρ‚ΡŒ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π° HTTP(S). Если Π½Π΅ Ρ…ΠΎΡ‚ΠΈΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ прокси, Ρ‚ΠΎ оставляСм просто ΠΊΠ°ΠΊ Π΅ΡΡ‚ΡŒ (Π½ΠΎ Π»ΡƒΡ‡ΡˆΠ΅ ΠΈΡ… ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ, Π½ΠΈΠΆΠ΅ Π±ΡƒΠ΄Π΅Ρ‚ написано ΠΏΠΎΡ‡Π΅ΠΌΡƒ).

Π’Π°ΠΊΠΆΠ΅ ΠΏΠ΅Ρ€Π΅Π΄ использованиСм парсСра Π²Π°ΠΌ Π½ΡƒΠΆΠ½ΠΎ ΡΠΊΠ°Ρ‡Π°Ρ‚ΡŒ Google Chrome ΠΈ ΠΎΠ±Π½ΠΎΠ²ΠΈΡ‚ΡŒ Π΅Π³ΠΎ Π΄ΠΎ послСднСй вСрсии. Π‘Π΄Π΅Π»Π°Ρ‚ΡŒ это ΠΌΠΎΠΆΠ½ΠΎ здСсь: chrome://settings/help (Π’ΡΡ‚Π°Π²ΡŒΡ‚Π΅ это Π² Π°Π΄Ρ€Π΅ΡΠ½ΡƒΡŽ строку Google Chrome).

Если Π²Ρ‹ Π·Π°Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠ°Π½Π°Π»Ρ‹ Π² ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ Π½ΡƒΠΆΠ½ΠΎ ΠΏΠ°Ρ€ΡΠΈΡ‚ΡŒ, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ Π²ΠΏΠΈΡΠ°Ρ‚ΡŒ ссылки Π½Π° ΠΊΠ°Π½Π°Π»Ρ‹ построчно Π² Ρ„Π°ΠΉΠ»Π΅ "channels_exception.txt", ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ хранится Π² ΠΏΠ°ΠΏΠΊΠ΅ data.

Π Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΡŽ Π²ΠΏΠΈΡΡ‹Π²Π°Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ‚Π΅ ΠΊΠ°Π½Π°Π»Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ»ΠΈ ΠΏΡ€ΠΈ Ρ€Π°Π±ΠΎΡ‚Π΅ этого парсСра (ΠΏΡ€ΠΈ этом ΠΆΠ΅Π»Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ ΡΠΎΡ…Ρ€Π°Π½ΡΡ‚ΡŒ Ρ‚Π°ΠΊΠΎΠΉ ΠΆΠ΅ порядок, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Π²Π°ΠΌ ΠΈΡ… Π²Ρ‹Π΄Π°Π» парсСр), Ρ‚.ΠΊ парсСр ΠΈΡΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ ΠΊΠ°Π½Π°Π»Ρ‹ ΠΏΠΎ "особому Ρ€Π΅ΠΆΠΈΠΌΡƒ".

Π’Π°ΠΊΠΆΠ΅ Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΡŽ ΡΠΎΡ…Ρ€Π°Π½ΡΡ‚ΡŒ ΠΊΠ°Π½Π°Π»Ρ‹ ΠΈΠ· Ρ€Π°Π·Π½Ρ‹Ρ… Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊ Π² Ρ€Π°Π·Π½Ρ‹Π΅ тСкстовыС Ρ„Π°ΠΉΠ»Ρ‹, Ρ‚.ΠΊ ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ ΠΊΠ°Π½Π°Π»ΠΎΠ² Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ с Ρ‚ΠΎΠΉ Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΠΎΠΉ, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ Π²Ρ‹ эти ΠΊΠ°Π½Π°Π»Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ»ΠΈ. НапримСр, Π²Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ»ΠΈ ΠΊΠ°Π½Π°Π»Ρ‹ ΠΈΠ· ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠΈ ΠΈ Ρ…ΠΎΡ‚ΠΈΡ‚Π΅ снова ΠΏΡ€ΠΎΠΉΡ‚ΠΈ ΠΏΠΎ ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠ΅ ΠΈ ΠΈΡΠΊΠ»ΡŽΡ‡Π°Ρ‚ΡŒ политичСскиС ΠΊΠ°Π½Π°Π»Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρƒ вас ΡƒΠΆΠ΅ Π΅ΡΡ‚ΡŒ. Для этого ΠΊΠΈΠ΄Π°Π΅ΠΌ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ ΠΊΠ°Π½Π°Π»Ρ‹ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΈΠ· ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠΈ.

Как Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΌΡ‹ Π·Π°ΠΊΠΈΠ½ΡƒΠ»ΠΈ Ρ„Π°ΠΉΠ» сСссии, ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ Π·Π°ΠΏΡƒΡΠΊΠ°Ρ‚ΡŒ парсСр Ρ‡Π΅Ρ€Π΅Π· Ρ„Π°ΠΉΠ» "TGParser.exe", Π² ΠΎΡ‚ΠΊΡ€Ρ‹Π²ΡˆΠΈΠΌΡΡ ΠΎΠΊΠ½Π΅ Π²Ρ‹Π±ΠΈΡ€Π°Π΅ΠΌ Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΡƒ, вписываСм минимальноС ΠΊΠΎΠ»-Π²ΠΎ ΠΎΡ…Π²Π°Ρ‚ΠΎΠ² для парсинга, ΠΊΠΎΠ»-Π²ΠΎ страниц, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ ΠΌΡ‹ Ρ…ΠΎΡ‚ΠΈΠΌ ΠΏΡ€ΠΎΠΏΠ°Ρ€ΡΠΈΡ‚ΡŒ (Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΉ страницС 102 ΠΊΠ°Π½Π°Π»Π°. Π§Π΅ΠΌ большС страниц, Ρ‚Π΅ΠΌ дольшС происходит парсинг), Π° Ρ‚Π°ΠΊΠΆΠ΅ Π²Ρ‹Π±ΠΈΡ€Π°Π΅ΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π»ΠΈ прокси ΠΈΠ»ΠΈ Π½Π΅Ρ‚ (Π’Π°ΠΌ Π½ΡƒΠΆΠ½ΠΎ ввСсти 'Y' (Yes) ΠΈΠ»ΠΈ 'N' (No)).

Π’ΠΈΠ΄ Ρ€Π°Π±ΠΎΡ‡Π΅Π³ΠΎ софта

ПослС Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ ΠΌΡ‹ вписали всС Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Π΅ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹, парсСр Π½Π°Ρ‡Π½Π΅Ρ‚ ΠΈΡΠΊΠ°Ρ‚ΡŒ Π½ΡƒΠΆΠ½Ρ‹Π΅ ΠΊΠ°Π½Π°Π»Ρ‹. О всСх дСйствиях парсСр вас Π±ΡƒΠ΄Π΅Ρ‚ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ.

Π‘ΠΎΡ„Ρ‚ Π² Ρ€Π°Π±ΠΎΡ‚Π΅

Как Ρ‚ΠΎΠ»ΡŒΠΊΠΎ парсСр Π·Π°ΠΊΠΎΠ½Ρ‡ΠΈΡ‚ Ρ€Π°Π±ΠΎΡ‚Ρƒ, ΠΎΠ½ оповСстит вас ΠΎΠ± этом. ΠšΠ°Π½Π°Π»Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ подходят ΠΏΠΎΠ΄ ваши ΠΊΡ€ΠΈΡ‚Π΅Ρ€ΠΈΠΈ, ΠΈ Π² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΌΠΎΠΆΠ½ΠΎ спокойно Ρ€Π°Π·ΠΌΠ΅Ρ‰Π°Ρ‚ΡŒ ссылки, Π±ΡƒΠ΄ΡƒΡ‚ находится Π² "data/channels.txt".

Π Π°Π±ΠΎΡ‡ΠΈΠ΅ Π½ΡŽΠ°Π½ΡΡ‹

Π’Π°ΠΊΠΆΠ΅ Π²ΠΎ врСмя Ρ€Π°Π±ΠΎΡ‚Ρ‹ парсСра Π½Π° этапС ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΈ антиспам Π±ΠΎΡ‚Π° Π² ΠΊΠ°Π½Π°Π»Π΅ Π’Π“, Ρƒ вас ΠΌΠΎΠΆΠ΅Ρ‚ Π·Π°Π±Π°Π½ΠΈΡ‚ΡŒ ΠΈΠ»ΠΈ ΠΎΡ‚ΠΏΡ€Π°Π²ΠΈΡ‚ΡŒ Π² спам-Π±Π»ΠΎΠΊ Π°ΠΊΠΊΠ°ΡƒΠ½Ρ‚ Π’Π“, с ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ ΠΈΠ΄Π΅Ρ‚ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ°.

Если Ρ‚Π°ΠΊΠΎΠ΅ Π²Π΄Ρ€ΡƒΠ³ ΠΏΡ€ΠΎΠΈΠ·ΠΎΡˆΠ»ΠΎ, Ρ‚ΠΎ Π²Π°ΠΌ Π½ΡƒΠΆΠ½ΠΎ Π·Π°ΠΊΡ€Ρ‹Ρ‚ΡŒ парсСр, Π·Π°ΠΌΠ΅Π½ΠΈΡ‚ΡŒ Π°ΠΊΠΊΠ°ΡƒΠ½Ρ‚ ΠΈ Π²ΠΎ врСмя ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π³ΠΎ запуска Π±ΠΎΡ‚ вас спросит, ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠΈΡ‚ΡŒ Π»ΠΈ Ρ€Π°Π±ΠΎΡ‚Ρƒ.

Π’Π°ΠΊΠΆΠ΅ Π²ΠΎ врСмя парсинга ΠΊΠ°Π½Π°Π»ΠΎΠ² Π½Π° сайтС TGSTAT, ваш IP-адрСс, с ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ Π²Ρ‹ запускаСтС парсСр ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Π·Π°Π±Π»ΠΎΠΊΠΈΡ€ΠΎΠ²Π°Π½ ΠΈΠ·-Π·Π° большого ΠΊΠΎΠ»-Π²ΠΎ запросов Π½Π° сайт, поэтому Π»ΡƒΡ‡ΡˆΠ΅ всСго ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ прокси Π²ΠΎ врСмя Ρ€Π°Π±ΠΎΡ‚Ρ‹. Если Π²Ρ‹ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚Π΅ TGSTAT ΠΈ вашСго IP-адрСса, Ρ‚ΠΎ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ спокойно обходится ΠΈ Π±Π΅Π· прокси.