@birulik
birulik
17 May 2017

Поинт, накидайте мне, пожалуйста, программ по обработке BigData.
Чем больше — тем лучше. Я собираю информацию.
Если напишите коротко плюсы и минусы — будет вообще здорово!

Доп по вопросам: типа Hadoop

Рекомендовано: biohazardmonkey и 1010101
#oktae 50
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Я тут любопытствующим мимокрокодилом затешусь, ага.

#oktae/1
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

а что ты имеешь в виду под "обработка" и "BigData"? а то я по неразумению своему просто zfgrep и awk на терабайтах логов просто запускаю

#oktae/2
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

hirthwork, бигдата в самом широком смысле, это может быть и обработка соцсеточек, и каких-то документов, и данных сотовых сетей

#oktae/3 в ответ на /2
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

ок. zfgrep и awk. и bash-скрипт, который запускает это параллельно на десяти тысячах машин.

#oktae/4 в ответ на /3
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

кокой-то ты тупой для прогрессора

#oktae/7 в ответ на /6
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

а чем плохо авк запускать паралелем?

#oktae/8 в ответ на /7
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Коллеги отпиздят
За то что весь проц на серваке выжрал

#oktae/9 в ответ на /8
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

у меня есть монтировка.

#oktae/10 в ответ на /9
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Коллег много. Очень.

#oktae/12 в ответ на /10
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

мне и мачете подарили. Так что норм.

#oktae/13 в ответ на /12
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Ты не понял. Коллег не просто много, а дохуя.

#oktae/14 в ответ на /13
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

ой, да ладно тебе, ты же не заддосил большой поисковый кластер из мапредьюса...

#oktae/27 в ответ на /9
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

нет. мне не портребовался для этого мапредьюс >_< // на самом деле я заддосил не поисковый кластер, а сторадж, где данные почты и диска лежат

#oktae/29 в ответ на /27
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

а nice - не?

#oktae/30 в ответ на /29
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

бля, иди нахуй. просто пиздец какую хуйню несёшь

#oktae/31 в ответ на /30
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

NO U

#oktae/32 в ответ на /31
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

ПОГРЕПАЛ ЛОГИ @ СМЫЛО КЕШИ

#oktae/33 в ответ на /29
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

кароч, ты спросила хуйню, хотя на самом деле тебе нужны баззворды, по которым гуглить. вот они: Kafka, Hadoop, Clickhouse. ну и весь MapReduce в целом можно глянуть

#oktae/11
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Поинт, накидайте мне, пожалуйста, терминов по гомотопической теории типов.
Чем длиннее — тем лучше. Я собираю информацию.
Если напишете краткие определения и зачем оно надо — будет вообще здорово!

Доп по вопросам: типа расслоение.

#oktae/15
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Георг, хули ты вот пришёл и начинаешь сразу травить. Тоньше надо быть

#oktae/19 в ответ на /15
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

I'm trolling and I know it.

#oktae/20 в ответ на /19
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

хуёлинг ты

#oktae/21 в ответ на /20
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

hirthwork, диплёнинг.

#oktae/22 в ответ на /21
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Поинт, накидайте мне, пожалуйста, нейросетей по диплёнингу.
Чем глубже — тем лучше. Я собираю градиент ошибки.
Если напишете F-score на MNIST и CIFAR — будет вообще здорово!

Доп по вопросам: типа DRNN GAN.

#oktae/23 в ответ на /22
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Что за DRNN GAN?

#oktae/46 в ответ на /23
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Баззворды, doubly recurring neural networks и generative adversarial networks соответственно.

#oktae/47 в ответ на /46
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Поинт, накидайте мне, пожалуйста, терминов по крафтовому пиву.
Чем длиннее — тем лучше. Я собираю информацию.
Если напишете краткие определения и зачем оно надо — будет вообще здорово!

#oktae/24 в ответ на /15
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Поинт, накидайте мне, пожалуйста, денег.
Чем больше — тем лучше. Я собираю деньги.
Если напишете краткие описания и зачем мне оно надо — будет вообще здорово!

Доп по деньгам: типа евро.

Комментарий был отредактирован в 01:18:35 17.05.2017
#oktae/25 в ответ на /24
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

birulik, я обрабатываю бигдату с помощью apache spark для чего овладел языком Scala.
упомянутые ранее в треде apache kafka + zookeeper это тоже хорошо.
но к моему мнению надо относиться осторожно. Потому что я безработный и живу с мамкой.

#oktae/16
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Дёргаю плюсовый код через какие-то там биндинги, мне норм, зачем шкала.

#oktae/17 в ответ на /16
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

сустав, не пизди, zookeeper — это про консистентность, а нихуя не про бигдату. попробуй ка пихни в него данных больше чем оперативки — охуеешь от таймингов.

#oktae/18 в ответ на /16
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

hirthwork, кашка там хранит информацию по структуре агентов, топиков и партиций. еще выборы и оффсет потребителя партиции. поток блевоты, которую ты распределяешь туда не попадает. это просто адепты кафки любят вечно напоминать о своем инфернальном союзе с Его Консистеншейством.

#oktae/48 в ответ на /18
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

если не пихать данные в зк, то приходится отдельное говно со стораджем городить. это вообще говно

#oktae/49 в ответ на /48
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

#oktae/50 в ответ на /48
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

birulik, оо, как я по всем скучала :D

#oktae/26
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

birulik, за 25 комментов был один ответ по существу + пара около темы. Нормально же )

#oktae/28 в ответ на /26
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

al1k, я об этом же :) Никто плюсы-минусы прог не пишет, эх

#oktae/35 в ответ на /28
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

а потому что нету, прог этих. одни сплошные костыли и конструкторы.

#oktae/36 в ответ на /35
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

проги есть. только никто их в опенсорс не выкладывает... ну за исключением Tarantool

#oktae/37 в ответ на /36
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

birulik, надо хотяб точку приления .
Процессинг видеопотоков , анализ текста , статистика - что-то вроде того .
если анализ текста - пинай дедфуда , это его тема.
если видео - найди Лапшина , он с его флюссоником таким занимался .
А так , выходит - хочу выучить математику , расскажите как быстро и в профессионалы.

#oktae/38 в ответ на /35
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

birulik, настолько расплывчато шо пиздец .
если хадуп - попробуй к нему тензорфлоу и торч7
Но это уровень индуса-дейтасайнтиста , и всё что серьёзнеее учить долго и требует стоических трудов.
Быстро не выйдет .
ЗЫ: тензорфлоу найс , торч слабее но прост шопиздец.

#oktae/34
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

@faggot, бля я ничо из этого не знаю, я ненастоящий программист и ненастоящий машинлёрнер :(

#oktae/39 в ответ на /34
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Позер от бигдаты

#oktae/40 в ответ на /39
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

hirthwork, я даже ни разу ничего не запускал на спарке! // зачем, когда есть 384 гига оперативки, и всё можно сделать прямо тама минибатчами.

#oktae/42 в ответ на /40
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

ПОСМОТРИТЕ НА ЭТОГО ЛОШАРУ! ОН ЗАПУСКАЕТСЯ ЛОКАЛЬНО, А У НЕГО ДАЖЕ ТЕРАБАЙТА ОПЕРАТИВКИ НЕТ!

#oktae/43 в ответ на /42
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Нет, Хиртворк, борг у меня, а не у тебя.

#oktae/44 в ответ на /43
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

Я неделю назад кеш немного распределил. Теперь под HTTP-запросы кешируются в двух терабайтах оперативки и двух петабайтах харда :3

#oktae/45 в ответ на /44
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
17 May 2017

0xd34df00d, это потому что я тупой , а ты менее тупой .

#oktae/41 в ответ на /39
Вы можете выбрать до 10 файлов общим размером не более 10 МБ.

Добавить пост

Вы можете выбрать до 10 файлов общим размером не более 10 МБ.
Для форматирования текста используется Markdown.