Profile cover photo
Profile photo
Журнал "Системный администратор"
110 followers -
Журнал «Системный администратор» – издание о решениях, продуктах и технологиях современной ИТ-отрасли.
Журнал «Системный администратор» – издание о решениях, продуктах и технологиях современной ИТ-отрасли.

110 followers
About
Журнал "Системный администратор"'s posts

Post has attachment
Яндекс ClickHouse. Быстрее некуда

Недавно в свободный доступ попала Open Source СУБД компании Яндекс – ClickHouse, которая обслуживает Яндекс.Метрику. Посмотрим, что это такое?

Что это такое и зачем оно нужно?

Достаточно заманчивый заголовок, который говорит о чем-то быстром и бесплатном, вызывает два традиционных вопроса: «Что это такое?» и «Как я могу это использовать?». Ответы на них могут быть разными в зависимости от того, к чему привык читатель. Начнем, пожалуй, с самого далекого от ClickHouse варианта – «мира Windows и MS SQL Server». Популярное мнение «чем дороже СУБД, тем она быстрее», мягко говоря, неверно в общем случае. Как минимум СУБД бывают OLAP и OLTP. Первые ориентированы на скорость получения данных, вторые – на параллельность работы при согласованности данных. Часто наиболее сложными механизмами в СУБД являются как раз функции многопользовательского доступа к общим данным. При этом данные должны в каждый момент времени оставаться согласованными. Поддержание этих механизмов требует существенных затрат.

В то же время в большинстве случаев такая «защитная» согласованность данных не требуется. Если вы пишете систему обмена сообщениями или собираете информацию о кликах пользователей, или загружаете товар с ценами на сайт, у вас, по сути, и нет общего ресурса, к которому нужно разделять доступ, да и пишете вы в каждый момент времени только водную таблицу. Для этих целей проще всего использовать более простые и быстрые OLAP СУБД. Но под OLAP мы привыкли понимать кубы, «in memory», перестроение, предварительную агрегацию данных… В современном мире все не совсем так.

В мире Big Data существуют совсем другие СУБД. И это не Microsoft SQL Server Enterprise, естественно, не PostreSQL, не IBM DB2, не Teradata и даже не Oracle Database. Большую часть Big Data-инфраструктуры (речь идет не о гигабайтах и даже не о терабайтах, скорее, ближе к петабайтам данных) обслуживают такие СУБД, как Facebook Presto, Google BigQuery, Apache Hive и, конечно, HP Vertica. В эту же категорию можно отнести и ClickHouse.

Яндекс в своем блоге очень долго рассказывал о том, чем же их Open Source СУБД лучше других. В частности, провели сравнение с HP Vertica как наиболее близким по производительности.

Даже если не обращать внимания на сам Benchmark (он все-таки проведен Яндексом), обратите внимание на количество данных в датасете для анализа – 1 биллион. При этом примерное время выполнения запроса к данным – секунды. То есть выборка из таблицы, в которой биллион данных, занимает в среднем не более нескольких секунд! Теперь вспомните, на каких объемах у вас начинались проблемы при использовании СУБД MS SQL? Таблица с несколькими десятками миллионов записей уже часто требует отдельного обслуживания, секционирования и совсем нетривиальных действий. При этом вам вряд ли удастся достичь времени выборки в одну секунду.

Конечно, у вас, как правило, не биллионы данных, и не нужна распределенная архитектура из десятков или сотен серверов. Но уже на таблицах из миллионов записей разница вскорости будет весьма ощутимой. И не нужно никаких кубов, предварительной агрегации, данные попадают в выборку сразу после записи. И самое главное, если ранее подобные решения были «для избранных», потому что были или дороги, или сложны во внедрении, Яндекс сделал шаг к нам навстречу и решение для Big Data сделал «для всех». Чем же ClickHouse уникальна:

1) прежде всего она бесплатна. Существующие Big Data-решения, как правило, не дешевы, что ограничивало область их применения именно в Big Data;
2) ClickHouse поддерживает SQL. Конечно, где-то она расширенная, а где-то урезанная, но базовые конструкции соответствуют стандарту ANSI;
3) ClickHouse проста в установке и настройке (есть сборка под Linux Debian);
4) ClickHouse достаточно хорошо документирована, что, как правило, является редкостью для открытых проектов, рожденных внутри компании.

Статью целиком читайте в журнале «Системный администратор», №1-2 за 2017 г. на страницах 56-58.

PDF-версию данного номера можно приобрести в нашем магазине: https://goo.gl/l8Mq0w

Post has attachment
Как будет развиваться ИТ-право в ближайшем будущем?

В последнее время все чаще звучат разговоры о принятых нормативных актах и законодательных инициативах в отношении такого современного юридического института, как информационное право. Использование сети Интернет приобретает глобальный характер и вместе с тем сталкивается с рядом правовых противоречий

В нашей стране до определенного момента вопрос обеспечения информационного права и безопасности особо остро не стоял, по крайней мере законодательная и исполнительная власть не спешила с принятием мер регулятивного характера в данной сфере правоотношений. Но в последние пять лет ситуация кардинальным образом изменилась.

В 2016 году мы стали свидетелями постоянных споров и дискуссий в отношении ИТ-права, вызванных принятыми или разрабатываемыми депутатами законами. Немало споров и обсуждений касательно нарушений прав и свобод человека игражданина вызвал, например, пресловутый законодательный акт с поэтичным названием «пакет Яровой», который требует поэтапного сбора гигантского объема информации для обеспечения информационной безопасности. Эксперты ИТ-индустрии и юридического сообщества никак не могут прийти к единому мнению по поводу нововведений, предлагаемых «пакетом Яровой», и того, как они отразятся на жизни граждан – нас с вами.

Действительно, сегодня самым молодым, перспективным и активно развивающимся видом правоотношений можно с уверенностью назвать информационное право в сфере ИТ.

Формирование данного юридического института происходит на наших глазах, неуловимо и стремительно, подобно скорости устройств с поддержкой технологии LTE.

Итак, что же такое информационное право? По сути, это комплексная отрасль права, представленная совокупностью социальных норм и отношений, возникающих в информационной сфере – сфере производства, преобразования и потребления информации...

Читайте статью полностью на сайте журнала «Системный администратор»: https://goo.gl/K77pC1

Post has attachment
Вышел в свет сдвоенный номер журнала «Системный администратор» (№1-2, 2017).

Как всегда, читатели найдут на его страницах немало полезной информации для себя.

Для ознакомления с оглавлением номера пройдите по ссылке: https://goo.gl/ZxufsJ.

Номер в электронном виде (PDF) можно приобрести в нашем магазине: https://goo.gl/l8Mq0w.
Photo

Post has attachment
Опоздавших не бывает, или книга о стеке

Что объединяет скобки, арифметические выражения, подпрограммы, рекурсию и анализ языков программирования? Что это за винегрет из круглого и теплого? Но никакого винегрета нет: все составляющие этой разношерстной компании объединяет простая и хорошо известная структура данных – стек. Вот только ли «простая» и действительно ли «хорошо известная»? Не зря ведь говорится «в тихом омуте черти водятся». Стек – как раз такой.

Недавно издательство «ДМК Пресс» представило книгу «Стек, или путешествие туда и обратно», полностью посвященной стеку. В книге рассматривается и подробно разбирается ряд задач нарастающей сложности. Главная особенность этих задач в том, что все они приводят к стеку. Иногда путь, ведущий к решению задачи, оказывается извилистым: то и дело возникают побочные «тропинки», приводящие в тупик. Но из любого тупика есть выход и таким выходом оказывается как раз стек.

Это тем более интересно, что стандартное определение стека как структуры данных, подчиняющейся дисциплине «последний пришел, первым ушел» не дает, на первый взгляд, никаких оснований для того, чтобы предполагать в стеке какие-то ну совсем уж выдающиеся способности. Однако за обманчивой простотой (кто-то даже считает это примитивностью) скрывается сила. Надо только внимательнее присмотреться.

Проницательный читатель, вероятно, увидел в таком названии сходство со знаменитой книгой Дж.Р.Р. Толкина «Хоббит, или путешествие туда и обратно» («The Hobbit, or There and Back Again»). Это сходство обусловлено тем, что работа со стеком действительно напоминает путешествие туда и обратно. Только теперь действующими лицами являются не хоббит Бильбо Бэггинс в компании с гномами во главе с неутомимым Гэндальфом, а числа и символы, которые то проваливаются в стек («туда»), то выталкиваются из него («обратно»).

Как мы уже упоминали, в книге рассматривается ряд задач возрастающей сложности, приводящих к стеку. Этим задачам посвящена первая и самая важная часть книги. Появление стека всегда тщательно подготавливается; он никогда не появляется ниоткуда, подобно кролику из шляпы. Для этого часто рассматриваются другие варианты решений, без использования стека. Это позволяет не на словах, а на деле (можно даже сказать «на собственной шкуре») сравнить разнообразные подходы и алгоритмы и убедиться в том, что стек – в соответствующих обстоятельствах, разумеется – именно то, что нужно. Для того, чтобы рассматриваемые задачи и их решения не зависели от какого-либо языка программирования, автор использует очень простой ассемблер, включающий в себя всего 7 команд (в основном передачи управления) и пару режимов адресации. Изложение в книге замкнуто: все, что необходимо - объясняется по мере необходимости, а также сопровождается многочисленными и простыми примерами программ, так что книгу могут читать даже те, у кого отсутствует опыт программирования на языках низкого уровня.

Во второй части книги развиваются идеи и концепции, изложенные в первой части. Здесь вводится небольшой, но достаточно мощный стековый компьютер, включая описание его системы команд и многочисленные примеры программ, среди которых имеются весьма нетривиальные.

Читатели, знакомые хотя бы по наслышке, с языком программирования Forth, без труда обнаружат влияние последнего (за одним существенным отличием – в предлагаемом стековом компьютере нет словарей и, соответственно, нет их реализации в виде того или иного варианта т.н. «шитого» кода).

Здесь же приводится краткое описание исходных кодов транслятора и интерпретатора этой стековой машины, вполне достаточное для тех, кто хотя бы немного знает Java, расширить их нужными возможностями.

Наконец, приложение включает в себя несколько разделов, которые имеют в основном технический характер. Последнее их них содержит указания по компиляции и запуску транслятора и интерпретатора стековой машины, описанной во второй части книги для тех, у кого опыт программирования на Java совсем не велик. Исходные тексты транслятора и интерпретатора (это всего 5 файлов общим объемом чуть больше 700 строк исходного кода) могут быть загружены с сайта издательства «ДМК Пресс».

В книге приведена небольшая, но достаточно «представительная» библиография, отталкиваясь от которой заинтересованный читатель может продолжить дальнейшее изучение стеков и того, как стеки используются не только в алгоритмах решения разнообразных задач, но также и в языках программирования и операционных системах.

Книга «Стек, или путешествие туда и обратно» предназначена в первую очередь тем, кто уже попробовал «на вкус» что такое программирование и желает двигаться дальше, но кто пока не готов приступить к изучению тяжеловесных и фундаментальных руководств по структурам данных и алгоритмам. Начинающие программисты, студенты первых курсов колледжей, специализирующихся по информатике, а также продвинутые старшеклассники (при условии, что они готовы потрудиться) – вот те, кому в первую очередь предназначена книга. Если они хорошенько разберутся в теории (первая часть книги) и решат задачи (представленные во второй части), то они будут готовы к тому, чтобы попробовать себя в новых областях, где стек раскрывается во всей красоте.

Раздел, посвященный использованию стека для анализа и распознавания грамматик языков программирования, получился несколько конспективным. Впрочем, учитывая популярный характер изложения и то, что книга является по-существу вводным текстом, это вполне объяснимо. Распознавание и анализ синтаксических структур языков программирования – это, действительно, сложный предмет, который требует отдельного изложения и предварительной подготовки (в дополнение к библиографии, предложенной автором, мы хотим порекомендовать еще одну интересную книгу: Льюис Ф., Розенкранц Д., Стирнз Р. Теоретические основы проектирования компиляторов. – М.: Мир, 1979).

Кроме того, как об этом пишет и сам автор, стековый компьютер, представленный во второй части книги мог бы быть несколько «поудобнее» (например, за счет косвенной адресации и директив резервирования памяти). Но здесь есть и свои положительные стороны: располагая документированными исходными кодами транслятора и интерпретатора, читатель может расширить их в нужном направлении.

Одним словом, мы рекомендуем присмотреться к этой книге. Как говорит сам автор «Пусть стек станет вашим другом и помощником».

ISBN: 978-5-97060-517-2
Вторников Алексей
Издательство «ДМК Пресс», 2017
https://dmkpress.com/catalog/computer/programming/978-5-97060-517-2/

Post has attachment
12 апреля в Москве во второй раз пройдет Fresh Russian Communications Conference 2017 – единственная в России конференция об использовании новых технологий в PR-коммуникациях.

В программе конференции три секции:
- Медиа-технологии в эпоху DIGITAL: опережая медиа
- Технологии эмоциональных и визуальных коммуникаций
- Технологии режиссуры в коммуникациях

Стоимость участия – от 6 500 рублей.
Студентам и преподавателям - 3 000 рублей.
Онлайн-трансляция - 2 500 рублей.

Билеты: www.msk.frc-conf.com.

#FRCconf2017 #FreshPR #FRC
Photo

Post has attachment
Заголовок: Хотите получить 55 идей и технологий для улучшения бизнеса всего за 1 день?

26 марта 2017 года в Москве компания B2B basis проводит авторский мастер-класс Михаила Галейченко «Бизнес с планшета. Как управлять жизнью, командой и бизнесом, используя современные технологии».

К участию приглашены предприниматели, собственники, генеральные директора, директора по развитию, коммерческие директора, маркетологи, ИТ-специалисты.
В результате Вы получите пошаговую инструкцию по автоматизации вашей компании, что позволит Вам ускорить, упростить и удешевить большинство бизнес задач.

Ознакомиться с программой мастер-класса и отзывами можно на сайте мероприятия: https://goo.gl/0JHZUb

Photo

Post has attachment
Уважаемые читатели!

В мартовском номере журнала «Системный администратор» (№3, 2017) в рубрике «Закон есть закон» мы расскажем о практике применения Федерального Закона «О персональных данных» в компаниях и организациях.

Присылайте свои вопросы в редакцию на электронный адрес law@samag.ru

Наш юрисконсульт Владимир Столяров даст на них исчерпывающие ответы в своей статье.

Поделитесь своим опытом с другими читателями! Расскажите, как работают у вас в компании с этим законом?

Какие встречаются трудности его применения? Как вы справляетесь с ними?

Ждем ваши вопросы и рассказы до 20 февраля.
Photo

Post has attachment
Внимание, акция!

ПОДАРИ СИСАДМИНУ!

Уважаемые коллеги! Друзья!

До 22 февраля мы дарим всем скидку в 23% при подписке на бумажную или смешанную версии журнала «Системный администратор» на 12 месяцев.

Порадуйте своих друзей, коллег, сотрудников – системных администраторов и всех ИТ-специалистов.

Как это сделать?

Очень просто:

1. Пройдите по ссылке http://samag.ru/subscribe

2. Оформите годовую подписку нужной вам версии.

3. Введите цифры кода – 23

После оплаты подписки вам будет предоставлена ссылка на скачивание Сертификата подписчика.

Подписка на профессиональный журнал – это лучший подарок для ИТ-специалиста, который прослужит ему долго. А в дополнение к подарку вручите Сертификат подписчика на журнал!

Акция проводится в честь Дня защитника Отечества 23 февраля.

Сделайте полезный подарок своим ИТ‑специалистам прямо сейчас!
Photo

Post has attachment
Гости из будущего: КРОК открыл первый в мире Центр комплексных решений на основе технологий Intel

8 февраля 2017 г., г. Москва. – Первый в мире Центр комплексных решений на основе технологий Intel открылся сегодня на территории офиса КРОК. Уникальность Центра заключается в широте спектра представленных решений, реализованных системным интегратором при участии более 20 технологических партнеров КРОК. В отличие от аналогичных лабораторий, здесь представлены уже готовые решения в рамках концепций IoT (Интернет вещей), Smart City (Безопасный город) и других инновационных направлений.

Новый центр открыт для всех корпоративных заказчиков из разных отраслей, которым интересно познакомиться и собственноручно протестировать технологии будущего. Решения, представленные к демонстрации в Центре сегодня, условно можно разделить на 4 основных блока: организация современного офиса, интеллектуальные городские системы, видеоаналитика и решения по мониторингу здоровья.

«Совместными усилиями команд экспертов КРОК и Intel удалось подготовить к демонстрации уже более 10 передовых решений, - говорит Игорь Никулин, заместитель генерального директора, директор департамента информационных технологий КРОК. - Уникальный формат Центра носит динамический характер и предусматривает постоянное пополнение списка новыми инновационными решениями не только для России, но и для всего мира».

В Центре представлены решения, которые применимы в самых разнообразных сферах. Так, системы для организации офисов позволяют создавать многофункциональные конференц-комнаты для эффективной, совместной и беспроводной работы. А при необходимости создать эффективный канал корпоративной коммуникации (например, для территориально распределенных офисов) используется технология Digital Signage. Она позволяет централизовано в режиме online управлять трансляцией мультимедийного контента на ЖК-экраны, проекторы, видеостены и пр. вне зависимости от их количества и местоположения.

Важное место в ряду инновационных решений Центра занимают интеллектуальные городские системы. Их функционал позволяет централизовано управлять инфраструктурой ЖКХ, дорожным движением, безопасностью и охраной стратегических объектов.

WIFI- и видеоаналитика, а также возможности распознавания лиц сегодня вызывают больший интерес у руководителей торговых компаний и режимных предприятий, хотя такие решения применимы и во многих других областях. Они используют концепции IoT и Big Data для сбора, обработки и анализа огромных объемов данных, что дает возможность получать важную для развития и защиты бизнеса отчетную информацию.

Решения по мониторингу здоровья и отслеживанию эмоционального состояния занимают отдельную нишу среди решений Центра. Уникальные терминалы для экспресс-диагностики позволяют выявлять признаки утомления, стресса и нарушения здоровья без участия врача и забора биоматериала, с использованием лишь неинвазивных методов анализа. Решения находят применение в областях, связанных с риском (охранные и инкассаторские службы, высотные рабочие, опасное производство), и в повседневной офисной деятельности.

В Центре представлены и решения для создания ИТ-инфраструктуры, которые упрощают управление виртуальными и облачными средами, платформы по обеспечению стабильной работы аналитических бизнес-систем, а также катастрофоустойчивые сервисы для защиты корпоративных данных от потерь.
PhotoPhotoPhotoPhoto
08.02.2017
4 Photos - View album

Post has attachment

Исследование российского рынка корпоративной мобильности

Центр исследований корпоративной мобильности Финансового университета при правительстве РФ проводит исследование ТРЕНДОВ РОССИЙСКОГО РЫНКА КОРПОРАТИВНОЙ МОБИЛЬНОСТИ.

Просим вас принять участие в исследовании и ответить на несколько вопросов.Потратив всего лишь три минуты на ответы, вы станете полноправными участниками исследования.

Обо всех результатах вы будете узнавать первыми. Заранее большое спасибо всем!
Wait while more posts are being loaded